Ceph+本地存储场景实践

功能概述

ZStack Cloud云平台支持多区域、多集群，而且云平台同一集群支持同时加载 1个Ceph 和3个本地存储作为主存储，本章介绍Ceph和本地存储组合场景下的规划实践。

方案规划

• 不同集群挂载不同类型存储（推荐）

  • 架构特点：不同存储下计算资源相互隔离。
  • 架构场景：适用于资源隔离性强的场景。
  • 架构优势：隔离性好，业务侧可在不同存储做高可用互备。
  • 架构劣势：业务迁移需跨存储迁移，较消耗IO和带宽资源。

• 同一集群同时挂载Ceph+本地存储

  • 架构特点：计算节点同时具有本地硬盘以及Ceph分布式存储osd。
  • 架构场景：适用于计算资源充足的场景。
  • 架构优势：复用本地计算节点的计算资源，系统盘在本地存储，关键数据在Ceph存储。
  • 架构劣势：默认采用本地存储创建资源，创建到Ceph存储需要手动指定存储，存储资源管理受限，业务在线迁迁移受限，且同一节点数据盘分属不同主存储，不便维护。

最佳实践

• Ceph存储与本地存储均依赖于各自节数据盘组成存储池，在Ceph存储+本地存储混合场景下，建议使用不同集群挂载不同类型主存储方案，以减少集群节点数量规模。

• 使用本地存储的集群，单个集群建议不超过10000节点。

  • 每个节点除去系统盘外，其他盘做RAID10进行分区挂载本地存储URL路径。
  • 不得使用不能使用/、 /dev、/proc、/sys、/usr/bin、/bin等系统目录，否则可能导致物理机异常，也不能使用/root/以下的文件目录或者根目录作为主存储空间。

• Ceph存储集群：

  • 超融合部署，单个集群建议不超过50节点，存储与计算节点配比建议不低于1:4。
  • 分离部署，单个集群建议不超过80节点，存储与计算节点配比建议不低于1:4。

• 本地存储不支持Ceph类型镜像服务器，Ceph存储可以与本地存储共用一个ImageStore类型镜像服务器。

注意事项

• 云平台使用期间，新建云主机、云盘资源时，若不指定主存储，默认使用本地存储资源，非admin用户不能管理云平台硬件资源。
  • 在创建云主机、云盘时，也不能指定主存储、集群创建资源，这会导致本地存储和本地存储集群资源持续使用，而Ceph存储集群利用率低。
  • 在Ceph存储+本地存储混合场景下，建议通过计算规格高级参数指定存储，避免不同存储资源使用不均问题。
• Ceph存储与本地存储跨存储迁移仅支持整机热迁移，不支持共享云盘、根云盘迁移以及冷迁移，且迁移后不保留快照。
• 本地存储不支持云主机高可用特性，Ceph存储集群内建议至少预留一个节点的计算资源作为冗余，保证出现故障的情况下，有足够的物理资源进行HA。